વિતરિત સર્વસંમતિમાં નિપુણતા મેળવવી: વૈશ્વિક સિસ્ટમો માટે રાફ્ટ અલ્ગોરિધમ અમલીકરણનું ઊંડાણપૂર્વકનું અવલોકન

આપણા આ ઝડપથી એકબીજા સાથે જોડાયેલા વિશ્વમાં, વિતરિત સિસ્ટમો લગભગ દરેક ડિજિટલ સેવાઓનો આધારસ્તંભ છે, ઇ-કોમર્સ પ્લેટફોર્મ અને નાણાકીય સંસ્થાઓથી લઈને ક્લાઉડ કમ્પ્યુટિંગ ઇન્ફ્રાસ્ટ્રક્ચર અને રીઅલ-ટાઇમ સંચાર સાધનો સુધી. આ સિસ્ટમો બહુવિધ મશીનો પર વર્કલોડ અને ડેટાનું વિતરણ કરીને અજોડ સ્કેલેબિલિટી, ઉપલબ્ધતા અને સ્થિતિસ્થાપકતા પ્રદાન કરે છે. જોકે, આ શક્તિ એક મોટા પડકાર સાથે આવે છે: નેટવર્ક વિલંબ, નોડ નિષ્ફળતા અને એકસાથે કામગીરી હોવા છતાં, તમામ ઘટકો સિસ્ટમની સ્થિતિ પર સંમત થાય તેની ખાતરી કરવી. આ મૂળભૂત સમસ્યાને વિતરિત સર્વસંમતિ તરીકે ઓળખવામાં આવે છે.

અસિંક્રનસ, નિષ્ફળતા-સંભવિત વિતરિત વાતાવરણમાં સર્વસંમતિ પ્રાપ્ત કરવી એ કુખ્યાત રીતે જટિલ છે. દાયકાઓથી, પેક્સોસ આ પડકારને ઉકેલવા માટે પ્રબળ અલ્ગોરિધમ હતું, જે તેના સૈદ્ધાંતિક સાતત્ય માટે આદરણીય હતું પરંતુ ઘણીવાર તેની જટિલતા અને અમલીકરણની મુશ્કેલી માટે ટીકા કરવામાં આવતી હતી. પછી રાફ્ટ આવ્યું, એક અલ્ગોરિધમ જેનો મુખ્ય ધ્યેય હતો: સમજણક્ષમતા. રાફ્ટનો ઉદ્દેશ્ય ફોલ્ટ ટોલરન્સ અને પ્રદર્શનની દ્રષ્ટિએ પેક્સોસની સમકક્ષ બનવાનો છે, પરંતુ એવી રીતે સંરચિત છે કે જે વિકાસકર્તાઓ માટે સમજવા અને તેના પર નિર્માણ કરવું ઘણું સરળ છે.

આ વ્યાપક માર્ગદર્શિકા રાફ્ટ અલ્ગોરિધમમાં ઊંડાણપૂર્વક ઉતરે છે, તેના પાયાના સિદ્ધાંતો, સંચાલન પદ્ધતિઓ, વ્યવહારિક અમલીકરણ વિચારણાઓ અને મજબૂત, વૈશ્વિક સ્તરે વિતરિત એપ્લિકેશનોના નિર્માણમાં તેની મહત્વપૂર્ણ ભૂમિકાનું અન્વેષણ કરે છે. પછી ભલે તમે અનુભવી આર્કિટેક્ટ હોવ, વિતરિત સિસ્ટમ એન્જિનિયર હોવ અથવા ઉચ્ચ ઉપલબ્ધ સેવાઓ બનાવવાની ઈચ્છા ધરાવતા ડેવલપર હોવ, રાફ્ટને સમજવું એ આધુનિક કમ્પ્યુટિંગની જટિલતાઓને નિપુણ બનાવવાની દિશામાં એક આવશ્યક પગલું છે.

આધુનિક આર્કિટેક્ચરમાં વિતરિત સર્વસંમતિની અનિવાર્ય જરૂરિયાત

પ્રતિ સેકન્ડ લાખો વ્યવહારોની પ્રક્રિયા કરતા વૈશ્વિક ઇ-કોમર્સ પ્લેટફોર્મની કલ્પના કરો. ગ્રાહક ડેટા, ઇન્વેન્ટરી સ્તરો, ઓર્ડર સ્થિતિઓ — આ બધું ખંડોમાં ફેલાયેલા અસંખ્ય ડેટા સેન્ટરોમાં સુસંગત રહેવું જોઈએ. બહુવિધ સર્વર્સમાં ફેલાયેલા બેંકિંગ સિસ્ટમનું લેજર, એકાઉન્ટ બેલેન્સ પર એક ક્ષણનો પણ અસંમતિ પરવડી શકે નહીં. આ દૃશ્યો વિતરિત સર્વસંમતિના નિર્ણાયક મહત્વને પ્રકાશિત કરે છે.

વિતરિત સિસ્ટમોના સહજ પડકારો

વિતરિત સિસ્ટમો, તેમના સ્વભાવથી, અસંખ્ય પડકારો રજૂ કરે છે જે મોનોલિથિક એપ્લિકેશનોમાં ગેરહાજર હોય છે. રાફ્ટ જેવા અલ્ગોરિધમ્સની લાવણ્ય અને આવશ્યકતાને સમજવા માટે આ પડકારોને સમજવું નિર્ણાયક છે:

• આંશિક નિષ્ફળતાઓ: એક જ સર્વરથી વિપરીત જે કાં તો કામ કરે છે અથવા સંપૂર્ણપણે નિષ્ફળ જાય છે, વિતરિત સિસ્ટમમાં કેટલાક નોડ્સ નિષ્ફળ થઈ શકે છે જ્યારે અન્ય કાર્યરત રહે છે. એક સર્વર ક્રેશ થઈ શકે છે, તેનું નેટવર્ક કનેક્શન છૂટી શકે છે, અથવા તેની ડિસ્ક દૂષિત થઈ શકે છે, આ બધું ત્યારે પણ જ્યારે ક્લસ્ટરનો બાકીનો ભાગ કાર્યરત રહે છે. સિસ્ટમ આ આંશિક નિષ્ફળતાઓ છતાં યોગ્ય રીતે કાર્યરત રહેવી જોઈએ.
• નેટવર્ક પાર્ટીશન્સ: નોડ્સને જોડતું નેટવર્ક હંમેશા વિશ્વસનીય હોતું નથી. નેટવર્ક પાર્ટીશન ત્યારે થાય છે જ્યારે નોડ્સના પેટાભાગો વચ્ચેનો સંચાર કપાઈ જાય છે, જેના કારણે એવું લાગે છે કે અમુક નોડ્સ નિષ્ફળ ગયા છે, ભલે તેઓ હજુ પણ ચાલુ હોય. આ "સ્પ્લિટ-બ્રેઈન" દૃશ્યોને ઉકેલવા, જ્યાં સિસ્ટમના વિવિધ ભાગો જૂની અથવા અસંગત માહિતીના આધારે સ્વતંત્ર રીતે કાર્ય કરે છે, તે એક મુખ્ય સર્વસંમતિ સમસ્યા છે.
• અસિંક્રનસ સંચાર: નોડ્સ વચ્ચેના સંદેશા વિલંબિત થઈ શકે છે, ફરીથી ઓર્ડર કરી શકાય છે અથવા સંપૂર્ણપણે ખોવાઈ શકે છે. ત્યાં કોઈ વૈશ્વિક ઘડિયાળ નથી અથવા સંદેશા વિતરણના સમય વિશે કોઈ ગેરંટી નથી, જેનાથી ઇવેન્ટ્સનો સુસંગત ક્રમ અથવા નિશ્ચિત સિસ્ટમ સ્થિતિ સ્થાપિત કરવી મુશ્કેલ બને છે.
• એકસાથે કામગીરી: બહુવિધ નોડ્સ સમાન ડેટાના ભાગને અપડેટ કરવાનો અથવા એકસાથે ક્રિયાઓ શરૂ કરવાનો પ્રયાસ કરી શકે છે. આ કામગીરીનું સંકલન કરવા માટેની પદ્ધતિ વિના, વિરોધાભાસ અને અસંગતતાઓ અનિવાર્ય છે.
• અણધારી લેટન્સી: ખાસ કરીને વૈશ્વિક સ્તરે વિતરિત જમાવટમાં, નેટવર્ક લેટન્સી નોંધપાત્ર રીતે બદલાઈ શકે છે. એક પ્રદેશમાં ઝડપી કામગીરી બીજા પ્રદેશમાં ધીમી હોઈ શકે છે, જે નિર્ણય લેવાની પ્રક્રિયાઓ અને સંકલનને અસર કરે છે.

શા માટે સર્વસંમતિ એ વિશ્વસનીયતાનો આધારસ્તંભ છે

સર્વસંમતિ અલ્ગોરિધમ્સ આ પડકારોને ઉકેલવા માટે એક મૂળભૂત નિર્માણ બ્લોક પ્રદાન કરે છે. તેઓ અવિશ્વસનીય ઘટકોના સંગ્રહને સામૂહિક રીતે એક જ, અત્યંત વિશ્વસનીય અને સુસંગત એકમ તરીકે કાર્ય કરવા સક્ષમ બનાવે છે. ખાસ કરીને, સર્વસંમતિ નીચેના હાંસલ કરવામાં મદદ કરે છે:

• સ્ટેટ મશીન રેપ્લિકેશન (SMR): ઘણી ફોલ્ટ-ટોલરન્ટ વિતરિત સિસ્ટમો પાછળનો મુખ્ય વિચાર. જો બધા નોડ્સ કામગીરીના ક્રમ પર સંમત થાય, અને જો દરેક નોડ સમાન પ્રારંભિક સ્થિતિમાં શરૂ થાય અને તે કામગીરીને સમાન ક્રમમાં અમલમાં મૂકે, તો બધા નોડ્સ સમાન અંતિમ સ્થિતિ પર પહોંચશે. આ વૈશ્વિક કામગીરીના ક્રમ પર સંમત થવા માટે સર્વસંમતિ એ પદ્ધતિ છે.
• ઉચ્ચ ઉપલબ્ધતા: જો નોડ્સની લઘુમતી નિષ્ફળ જાય તો પણ સિસ્ટમને કાર્યરત રાખવાની મંજૂરી આપીને, સર્વસંમતિ ખાતરી કરે છે કે સેવાઓ સુલભ અને કાર્યરત રહે છે, ડાઉનટાઇમ ઘટાડે છે.
• ડેટા સુસંગતતા: તે ખાતરી આપે છે કે ડેટાની તમામ પ્રતિકૃતિઓ સમન્વયિત રહે છે, વિરોધાભાસી અપડેટ્સને અટકાવે છે અને ખાતરી કરે છે કે ગ્રાહકો હંમેશા સૌથી અદ્યતન અને સાચી માહિતી વાંચે છે.
• ફોલ્ટ ટોલરન્સ: સિસ્ટમ મનસ્વી નોડ નિષ્ફળતાઓની ચોક્કસ સંખ્યા (સામાન્ય રીતે ક્રેશ નિષ્ફળતા) સહન કરી શકે છે અને માનવીય હસ્તક્ષેપ વિના પ્રગતિ કરવાનું ચાલુ રાખી શકે છે.

રાફ્ટનો પરિચય: સર્વસંમતિ માટે એક સમજણક્ષમ અભિગમ

રાફ્ટ શૈક્ષણિક જગતમાંથી એક સ્પષ્ટ ઉદ્દેશ્ય સાથે ઉભરી આવ્યું: વિતરિત સર્વસંમતિને સુલભ બનાવવી. તેના લેખકો, ડિએગો ઓંગારો અને જ્હોન ઓસ્ટરહાઉટે, સર્વસંમતિ અલ્ગોરિધમ્સના વધુ વ્યાપક અપનાવવા અને સાચા અમલીકરણને સક્ષમ કરવાના હેતુથી, રાફ્ટને સમજણક્ષમતા માટે સ્પષ્ટપણે ડિઝાઇન કર્યું.

રાફ્ટનો મુખ્ય ડિઝાઇન ફિલોસોફી: સમજણક્ષમતા પ્રથમ

રાફ્ટ સર્વસંમતિની જટિલ સમસ્યાને કેટલાક પ્રમાણમાં સ્વતંત્ર પેટા-સમસ્યાઓમાં વિભાજિત કરે છે, પ્રત્યેકની પોતાની ચોક્કસ નિયમો અને વર્તણૂકોનો સમૂહ છે. આ મોડ્યુલારિટી સમજણમાં નોંધપાત્ર રીતે મદદ કરે છે. મુખ્ય ડિઝાઇન સિદ્ધાંતોમાં શામેલ છે:

• લીડર-કેન્દ્રિત અભિગમ: અન્ય કેટલાક સર્વસંમતિ અલ્ગોરિધમ્સથી વિપરીત જ્યાં તમામ નોડ્સ નિર્ણય લેવામાં સમાન રીતે ભાગ લે છે, રાફ્ટ એક જ લીડરને નિયુક્ત કરે છે. લીડર રેપ્લિકેટેડ લોગનું સંચાલન કરવા અને તમામ ક્લાયન્ટ વિનંતીઓનું સંકલન કરવા માટે જવાબદાર છે. આ લોગ મેનેજમેન્ટને સરળ બનાવે છે અને નોડ્સ વચ્ચેની ક્રિયાપ્રતિક્રિયાઓની જટિલતા ઘટાડે છે.
• મજબૂત લીડર: લીડર નવી લોગ એન્ટ્રીઓ પ્રસ્તાવિત કરવા અને તે ક્યારે પ્રતિબદ્ધ થાય છે તે નક્કી કરવા માટે અંતિમ સત્તા છે. ફોલોઅર્સ લીડરના લોગની નિષ્ક્રિય રીતે પ્રતિકૃતિ બનાવે છે અને લીડરની વિનંતીઓનો પ્રતિસાદ આપે છે.
• નિર્ધારિત ચૂંટણીઓ: રાફ્ટ રેન્ડમાઇઝ્ડ ચૂંટણી ટાઈમઆઉટનો ઉપયોગ કરે છે તેની ખાતરી કરવા માટે કે સામાન્ય રીતે આપેલ ચૂંટણી સમયગાળામાં ફક્ત એક જ ઉમેદવાર લીડર તરીકે ઉભરી આવે છે.
• લોગ સુસંગતતા: રાફ્ટ તેના રેપ્લિકેટેડ લોગ પર મજબૂત સુસંગતતા ગુણધર્મો લાગુ કરે છે, તેની ખાતરી કરે છે કે પ્રતિબદ્ધ એન્ટ્રીઓ ક્યારેય પાછી ખેંચવામાં આવતી નથી અને તમામ પ્રતિબદ્ધ એન્ટ્રીઓ આખરે તમામ ઉપલબ્ધ નોડ્સ પર દેખાય છે.

પેક્સોસ સાથે સંક્ષિપ્ત સરખામણી

રાફ્ટ પહેલાં, પેક્સોસ વિતરિત સર્વસંમતિ માટે વાસ્તવિક ધોરણ હતું. જ્યારે શક્તિશાળી, પેક્સોસને સમજવું અને તેને યોગ્ય રીતે અમલમાં મૂકવું કુખ્યાત રીતે મુશ્કેલ છે. તેની ડિઝાઇન, જે ભૂમિકાઓ (પ્રપોઝર, સ્વીકારનાર, શીખનાર) ને અલગ પાડે છે અને બહુવિધ લીડર્સને એકસાથે અસ્તિત્વમાં રાખવાની મંજૂરી આપે છે (જોકે ફક્ત એક જ મૂલ્યને પ્રતિબદ્ધ કરી શકે છે), તે જટિલ ક્રિયાપ્રતિક્રિયાઓ અને ધારના કેસો તરફ દોરી શકે છે.

રાફ્ટ, તેનાથી વિપરીત, સ્ટેટ સ્પેસને સરળ બનાવે છે. તે એક મજબૂત લીડર મોડેલ લાગુ કરે છે, જ્યાં લીડર તમામ લોગ પરિવર્તનો માટે જવાબદાર છે. તે ભૂમિકાઓ (લીડર, ફોલોઅર, કેન્ડિડેટ) અને તેમની વચ્ચેના સંક્રમણોને સ્પષ્ટપણે વ્યાખ્યાયિત કરે છે. આ માળખું રાફ્ટના વર્તનને વધુ સાહજિક અને તર્કસંગત બનાવવાનું સરળ બનાવે છે, જેના પરિણામે અમલીકરણમાં ઓછી ભૂલો અને ઝડપી વિકાસ ચક્ર થાય છે. ઘણી વાસ્તવિક-વિશ્વ સિસ્ટમો કે જેઓ શરૂઆતમાં પેક્સોસ સાથે સંઘર્ષ કરતી હતી, તેઓએ રાફ્ટ અપનાવીને સફળતા મેળવી છે.

રાફ્ટમાં ત્રણ મૂળભૂત ભૂમિકાઓ

કોઈપણ સમયે, રાફ્ટ ક્લસ્ટરમાં દરેક સર્વર ત્રણ સ્થિતિઓમાંથી એકમાં હોય છે: લીડર, ફોલોઅર, અથવા કેન્ડિડેટ. આ ભૂમિકાઓ વિશિષ્ટ અને ગતિશીલ હોય છે, જેમાં સર્વર્સ ચોક્કસ નિયમો અને ઘટનાઓના આધારે તેમની વચ્ચે સંક્રમણ કરે છે.

1. ફોલોઅર

• નિષ્ક્રિય ભૂમિકા: ફોલોઅર્સ રાફ્ટમાં સૌથી નિષ્ક્રિય સ્થિતિ છે. તેઓ ફક્ત લીડર્સ અને કેન્ડિડેટ્સની વિનંતીઓનો પ્રતિસાદ આપે છે.
• હાર્ટબીટ્સ પ્રાપ્ત કરવી: એક ફોલોઅર નિયમિત અંતરાલે લીડર પાસેથી હાર્ટબીટ્સ (ખાલી AppendEntries RPCs) પ્રાપ્ત કરવાની અપેક્ષા રાખે છે. જો કોઈ ફોલોઅર ચોક્કસ ચૂંટણી ટાઈમઆઉટ સમયગાળામાં હાર્ટબીટ અથવા AppendEntries RPC પ્રાપ્ત કરતું નથી, તો તે માને છે કે લીડર નિષ્ફળ ગયો છે અને કેન્ડિડેટ સ્થિતિમાં સંક્રમણ કરે છે.
• વોટિંગ: ચૂંટણી દરમિયાન, એક ફોલોઅર પ્રતિ ટર્મ વધુમાં વધુ એક કેન્ડિડેટને વોટ આપશે.
• લોગ રેપ્લિકેશન: ફોલોઅર્સ લીડર દ્વારા સૂચના મુજબ તેમના સ્થાનિક લોગમાં લોગ એન્ટ્રીઓ ઉમેરે છે.

2. કેન્ડિડેટ

• ચૂંટણીઓ શરૂ કરવી: જ્યારે કોઈ ફોલોઅરનું ટાઈમઆઉટ સમાપ્ત થાય છે (લીડર પાસેથી સાંભળતો નથી), ત્યારે તે નવી ચૂંટણી શરૂ કરવા માટે કેન્ડિડેટ સ્થિતિમાં સંક્રમણ કરે છે.
• સ્વ-વોટિંગ: એક કેન્ડિડેટ તેની વર્તમાન ટર્મને વધારે છે, પોતાને વોટ આપે છે અને ક્લસ્ટરમાં અન્ય તમામ સર્વર્સને RequestVote RPCs મોકલે છે.
• ચૂંટણી જીતવી: જો કોઈ કેન્ડિડેટ સમાન ટર્મ માટે ક્લસ્ટરમાં મોટાભાગના સર્વર્સ પાસેથી વોટ મેળવે છે, તો તે લીડર સ્થિતિમાં સંક્રમણ કરે છે.
• પદ છોડવું: જો કોઈ કેન્ડિડેટ ઉચ્ચ ટર્મ સાથે અન્ય સર્વર શોધે છે, અથવા જો તેને કાયદેસર લીડર પાસેથી AppendEntries RPC પ્રાપ્ત થાય છે, તો તે ફોલોઅર સ્થિતિમાં પાછું ફરે છે.

3. લીડર

• એકમાત્ર સત્તા: રાફ્ટ ક્લસ્ટરમાં કોઈપણ સમયે (આપેલ ટર્મ માટે) ફક્ત એક જ લીડર હોય છે. લીડર તમામ ક્લાયન્ટ ક્રિયાપ્રતિક્રિયાઓ, લોગ રેપ્લિકેશન અને સુસંગતતા સુનિશ્ચિત કરવા માટે જવાબદાર છે.
• હાર્ટબીટ્સ મોકલવી: લીડર તેની સત્તા જાળવી રાખવા અને નવી ચૂંટણીઓને અટકાવવા માટે તમામ ફોલોઅર્સને સમયાંતરે AppendEntries RPCs (હાર્ટબીટ્સ) મોકલે છે.
• લોગ મેનેજમેન્ટ: લીડર ક્લાયન્ટ વિનંતીઓ સ્વીકારે છે, તેના સ્થાનિક લોગમાં નવી લોગ એન્ટ્રીઓ ઉમેરે છે, અને પછી આ એન્ટ્રીઓને તમામ ફોલોઅર્સમાં રેપ્લિકેટ કરે છે.
• પ્રતિબદ્ધતા: લીડર નક્કી કરે છે કે ક્યારે એક એન્ટ્રી બહુમતી સર્વર્સમાં સુરક્ષિત રીતે રેપ્લિકેટ થઈ છે અને સ્ટેટ મશીન પર લાગુ કરી શકાય છે.
• પદ છોડવું: જો લીડર ઉચ્ચ ટર્મ સાથે સર્વર શોધે છે, તો તે તરત જ પદ છોડી દે છે અને ફોલોઅર પર પાછો ફરે છે. આ સુનિશ્ચિત કરે છે કે સિસ્ટમ હંમેશા ઉચ્ચતમ જાણીતી ટર્મ સાથે પ્રગતિ કરે છે.

રાફ્ટના સંચાલન તબક્કાઓ: એક વિગતવાર વોકથ્રુ

રાફ્ટ લીડર ચૂંટણી અને લોગ રેપ્લિકેશનના સતત ચક્ર દ્વારા કાર્ય કરે છે. આ બે પ્રાથમિક પદ્ધતિઓ, નિર્ણાયક સલામતી ગુણધર્મો સાથે, ક્લસ્ટર સુસંગતતા અને ફોલ્ટ ટોલરન્સ જાળવી રાખે છે તેની ખાતરી કરે છે.

1. લીડર ચૂંટણી

લીડર ચૂંટણી પ્રક્રિયા રાફ્ટના સંચાલન માટે મૂળભૂત છે, જે ખાતરી કરે છે કે ક્લસ્ટરમાં ક્રિયાઓનું સંકલન કરવા માટે હંમેશા એક જ, અધિકૃત નોડ હોય.

• ચૂંટણી ટાઈમઆઉટ: દરેક ફોલોઅર રેન્ડમાઇઝ્ડ ચૂંટણી ટાઈમઆઉટ (સામાન્ય રીતે 150-300ms) જાળવી રાખે છે. જો કોઈ ફોલોઅર આ ટાઈમઆઉટ સમયગાળામાં વર્તમાન લીડર પાસેથી કોઈ સંચાર (હાર્ટબીટ અથવા AppendEntries RPC) પ્રાપ્ત કરતું નથી, તો તે માને છે કે લીડર નિષ્ફળ ગયો છે અથવા નેટવર્ક પાર્ટીશન થયું છે.
• કેન્ડિડેટમાં સંક્રમણ: ટાઈમઆઉટ પછી, ફોલોઅર કેન્ડિડેટ સ્થિતિમાં સંક્રમણ કરે છે. તે તેની વર્તમાન ટર્મને વધારે છે, પોતાને વોટ આપે છે અને તેના ચૂંટણી ટાઈમરને રીસેટ કરે છે.
• RequestVote RPC: કેન્ડિડેટ પછી ક્લસ્ટરમાં અન્ય તમામ સર્વર્સને RequestVote RPCs મોકલે છે. આ RPCમાં કેન્ડિડેટની વર્તમાન ટર્મ, તેની candidateId, અને તેના છેલ્લા લોગ ઇન્ડેક્સ અને છેલ્લા લોગ ટર્મ વિશેની માહિતી શામેલ હોય છે (સલામતી માટે આ શા માટે નિર્ણાયક છે તે વિશે વધુ પછી).
• વોટિંગ નિયમો: એક સર્વર કેન્ડિડેટને તેનો વોટ આપશે જો:
  1. તેની વર્તમાન ટર્મ કેન્ડિડેટની ટર્મ કરતા ઓછી અથવા બરાબર હોય.
  2. તેણે વર્તમાન ટર્મમાં હજુ સુધી અન્ય કોઈ કેન્ડિડેટને વોટ આપ્યો ન હોય.
  3. કેન્ડિડેટનો લોગ ઓછામાં ઓછો તેના પોતાના જેટલો જ અદ્યતન હોય. આની સરખામણી સૌપ્રથમ છેલ્લા લોગ ટર્મ દ્વારા કરવામાં આવે છે, પછી જો ટર્મ સમાન હોય તો છેલ્લા લોગ ઇન્ડેક્સ દ્વારા. એક કેન્ડિડેટ "અદ્યતન" છે જો તેના લોગમાં તમામ પ્રતિબદ્ધ એન્ટ્રીઓ હોય જે વોટરના લોગમાં હોય. આને ચૂંટણી પ્રતિબંધ તરીકે ઓળખવામાં આવે છે અને સલામતી માટે નિર્ણાયક છે.
• ચૂંટણી જીતવી: એક કેન્ડિડેટ નવો લીડર બને છે જો તેને સમાન ટર્મ માટે ક્લસ્ટરમાં મોટાભાગના સર્વર્સ પાસેથી વોટ મળે. એકવાર ચૂંટાયા પછી, નવો લીડર તરત જ તેની સત્તા સ્થાપિત કરવા અને નવી ચૂંટણીઓને અટકાવવા માટે અન્ય તમામ સર્વર્સને AppendEntries RPCs (હાર્ટબીટ્સ) મોકલે છે.
• સ્પ્લિટ વોટ્સ અને રીટ્રાઈઝ: એકસાથે બહુવિધ કેન્ડિડેટ્સ ઉભરી આવે તે શક્ય છે, જેનાથી સ્પ્લિટ વોટ થાય છે જ્યાં કોઈ કેન્ડિડેટ બહુમતી મેળવતું નથી. આને ઉકેલવા માટે, દરેક કેન્ડિડેટનું રેન્ડમાઇઝ્ડ ચૂંટણી ટાઈમઆઉટ હોય છે. જો કોઈ કેન્ડિડેટનું ટાઈમઆઉટ ચૂંટણી જીત્યા વિના અથવા નવા લીડર પાસેથી સાંભળ્યા વિના સમાપ્ત થાય છે, તો તે તેની ટર્મને વધારે છે અને નવી ચૂંટણી શરૂ કરે છે. રેન્ડમાઇઝેશન એ સુનિશ્ચિત કરવામાં મદદ કરે છે કે સ્પ્લિટ વોટ્સ દુર્લભ હોય અને ઝડપથી ઉકેલાઈ જાય.
• ઉચ્ચ ટર્મ્સ શોધવી: જો કોઈ કેન્ડિડેટ (અથવા કોઈપણ સર્વર) તેના પોતાના વર્તમાન ટર્મ કરતા ઊંચા ટર્મ સાથે RPC પ્રાપ્ત કરે છે, તો તે તરત જ તેની વર્તમાન ટર્મને ઊંચા મૂલ્યમાં અપડેટ કરે છે અને ફોલોઅર સ્થિતિમાં પાછું ફરે છે. આ સુનિશ્ચિત કરે છે કે જૂની માહિતી સાથેનું સર્વર ક્યારેય લીડર બનવાનો અથવા કાયદેસર લીડરને વિક્ષેપિત કરવાનો પ્રયાસ કરતું નથી.

2. લોગ રેપ્લિકેશન

એકવાર લીડર ચૂંટાયા પછી, તેની પ્રાથમિક જવાબદારી રેપ્લિકેટેડ લોગનું સંચાલન કરવું અને ક્લસ્ટરમાં સુસંગતતા સુનિશ્ચિત કરવી છે. આમાં ક્લાયન્ટ આદેશો સ્વીકારવા, તેમને તેના લોગમાં ઉમેરવા અને તેમને ફોલોઅર્સમાં રેપ્લિકેટ કરવાનો સમાવેશ થાય છે.

• ક્લાયન્ટ વિનંતીઓ: તમામ ક્લાયન્ટ વિનંતીઓ (સ્ટેટ મશીન દ્વારા અમલ કરવાના આદેશો) લીડરને નિર્દેશિત કરવામાં આવે છે. જો કોઈ ક્લાયન્ટ ફોલોઅરનો સંપર્ક કરે છે, તો ફોલોઅર વિનંતીને વર્તમાન લીડરને રીડાયરેક્ટ કરે છે.
• લીડરના લોગમાં ઉમેરવું: જ્યારે લીડર ક્લાયન્ટ આદેશ પ્રાપ્ત કરે છે, ત્યારે તે આદેશને નવી લોગ એન્ટ્રી તરીકે તેના સ્થાનિક લોગમાં ઉમેરે છે. દરેક લોગ એન્ટ્રીમાં આદેશ પોતે, ટર્મ જેમાં તે પ્રાપ્ત થયો હતો અને તેનો લોગ ઇન્ડેક્સ શામેલ હોય છે.
• AppendEntries RPC: લીડર પછી તમામ ફોલોઅર્સને AppendEntries RPCs મોકલે છે, તેમને નવી લોગ એન્ટ્રી (અથવા એન્ટ્રીઓનો સમૂહ) તેમના લોગમાં ઉમેરવા વિનંતી કરે છે. આ RPCsમાં શામેલ છે:
  • term: લીડરની વર્તમાન ટર્મ.
  • leaderId: લીડરનો ID (ફોલોઅર્સ માટે ક્લાયન્ટ્સને રીડાયરેક્ટ કરવા).
  • prevLogIndex: નવી એન્ટ્રીઓ પહેલાની લોગ એન્ટ્રીનો ઇન્ડેક્સ.
  • prevLogTerm: prevLogIndex એન્ટ્રીનો ટર્મ. આ બે (prevLogIndex, prevLogTerm) લોગ મેચિંગ પ્રોપર્ટી માટે નિર્ણાયક છે.
  • entries[]: સ્ટોર કરવા માટેની લોગ એન્ટ્રીઓ (હાર્ટબીટ્સ માટે ખાલી).
  • leaderCommit: લીડરનો commitIndex (સૌથી ઉચ્ચ લોગ એન્ટ્રીનો ઇન્ડેક્સ જે પ્રતિબદ્ધ હોવાનું જાણીતું છે).
• સુસંગતતા તપાસ (લોગ મેચિંગ પ્રોપર્ટી): જ્યારે કોઈ ફોલોઅર AppendEntries RPC પ્રાપ્ત કરે છે, ત્યારે તે સુસંગતતા તપાસ કરે છે. તે ચકાસે છે કે તેનો લોગ prevLogIndex પર prevLogTerm સાથે મેળ ખાતી એન્ટ્રી ધરાવે છે કે કેમ. જો આ તપાસ નિષ્ફળ જાય, તો ફોલોઅર AppendEntries RPCને નકારે છે, લીડરને જાણ કરે છે કે તેનો લોગ અસંગત છે.
• અસંગતતાઓનું નિરાકરણ: જો કોઈ ફોલોઅર AppendEntries RPCને નકારે છે, તો લીડર તે ફોલોઅર માટે nextIndex ઘટાડે છે અને AppendEntries RPCને ફરીથી પ્રયાસ કરે છે. nextIndex એ આગામી લોગ એન્ટ્રીનો ઇન્ડેક્સ છે જે લીડર ચોક્કસ ફોલોઅરને મોકલશે. આ પ્રક્રિયા ત્યાં સુધી ચાલુ રહે છે જ્યાં સુધી nextIndex એવા બિંદુ સુધી પહોંચે નહીં જ્યાં લીડર અને ફોલોઅરના લોગ મેળ ખાય. એકવાર મેળ મળી જાય પછી, ફોલોઅર પછીની લોગ એન્ટ્રીઓ સ્વીકારી શકે છે, આખરે તેના લોગને લીડરના લોગ સાથે સુસંગત બનાવે છે.
• એન્ટ્રીઓ પ્રતિબદ્ધ કરવી: એક એન્ટ્રી પ્રતિબદ્ધ ગણાય છે જ્યારે લીડરે તેને બહુમતી સર્વર્સ (પોતાનો સમાવેશ કરીને) માં સફળતાપૂર્વક રેપ્લિકેટ કરી હોય. એકવાર પ્રતિબદ્ધ થઈ ગયા પછી, એન્ટ્રીને સ્થાનિક સ્ટેટ મશીન પર લાગુ કરી શકાય છે. લીડર તેના commitIndexને અપડેટ કરે છે અને પ્રતિબદ્ધ એન્ટ્રીઓ વિશે ફોલોઅર્સને જાણ કરવા માટે પછીના AppendEntries RPCsમાં આનો સમાવેશ કરે છે. ફોલોઅર્સ લીડરના leaderCommitના આધારે તેમના commitIndexને અપડેટ કરે છે અને તે ઇન્ડેક્સ સુધીની એન્ટ્રીઓને તેમના સ્ટેટ મશીન પર લાગુ કરે છે.
• લીડર સંપૂર્ણતા ગુણધર્મ: રાફ્ટ ખાતરી આપે છે કે જો કોઈ લોગ એન્ટ્રી આપેલ ટર્મમાં પ્રતિબદ્ધ હોય, તો પછીના તમામ લીડર્સ પાસે તે લોગ એન્ટ્રી પણ હોવી જોઈએ. આ ગુણધર્મ ચૂંટણી પ્રતિબંધ દ્વારા લાગુ કરવામાં આવે છે: એક કેન્ડિડેટ ત્યારે જ ચૂંટણી જીતી શકે છે જો તેનો લોગ મોટાભાગના અન્ય સર્વર્સ જેટલો જ અદ્યતન હોય. આ લીડરને ચૂંટાવવાથી અટકાવે છે જે પ્રતિબદ્ધ એન્ટ્રીઓને ઓવરરાઇટ કરી શકે છે અથવા ચૂકી શકે છે.

3. સલામતી ગુણધર્મો અને ગેરંટીઓ

રાફ્ટની મજબૂતી કેટલીક કાળજીપૂર્વક ડિઝાઇન કરાયેલ સલામતી ગુણધર્મોમાંથી ઉદ્ભવે છે જે અસંગતતાઓને અટકાવે છે અને ડેટા અખંડિતતા સુનિશ્ચિત કરે છે:

• ચૂંટણી સલામતી: આપેલ ટર્મમાં વધુમાં વધુ એક લીડર ચૂંટાઈ શકે છે. આ વોટિંગ મિકેનિઝમ દ્વારા લાગુ કરવામાં આવે છે જ્યાં એક ફોલોઅર પ્રતિ ટર્મ વધુમાં વધુ એક વોટ આપે છે અને કેન્ડિડેટને બહુમતી વોટની જરૂર હોય છે.
• લીડર સંપૂર્ણતા: જો કોઈ લોગ એન્ટ્રી આપેલ ટર્મમાં પ્રતિબદ્ધ થઈ હોય, તો તે એન્ટ્રી પછીના તમામ લીડર્સના લોગમાં હાજર રહેશે. આ પ્રતિબદ્ધ ડેટાના નુકસાનને અટકાવવા માટે નિર્ણાયક છે અને તે મુખ્યત્વે ચૂંટણી પ્રતિબંધ દ્વારા સુનિશ્ચિત થાય છે.
• લોગ મેચિંગ ગુણધર્મ: જો બે લોગ સમાન ઇન્ડેક્સ અને ટર્મ સાથે એન્ટ્રી ધરાવે છે, તો લોગ્સ અગાઉની તમામ એન્ટ્રીઓમાં સમાન હોય છે. આ લોગ સુસંગતતા તપાસને સરળ બનાવે છે અને લીડરને ફોલોઅર્સના લોગને અપડેટ કરવામાં કાર્યક્ષમતાથી મદદ કરે છે.
• પ્રતિબદ્ધ સલામતી: એકવાર એન્ટ્રી પ્રતિબદ્ધ થઈ ગયા પછી, તે ક્યારેય પાછી ખેંચવામાં આવશે નહીં અથવા ઓવરરાઇટ કરવામાં આવશે નહીં. આ લીડર સંપૂર્ણતા અને લોગ મેચિંગ ગુણધર્મોનું સીધું પરિણામ છે. એકવાર એન્ટ્રી પ્રતિબદ્ધ થઈ ગયા પછી, તેને કાયમી ધોરણે સંગ્રહિત ગણવામાં આવે છે.

રાફ્ટમાં મુખ્ય ખ્યાલો અને પદ્ધતિઓ

ભૂમિકાઓ અને સંચાલન તબક્કાઓ ઉપરાંત, રાફ્ટ સ્થિતિનું સંચાલન કરવા અને ચોકસાઈ સુનિશ્ચિત કરવા માટે ઘણા મુખ્ય ખ્યાલો પર આધાર રાખે છે.

1. ટર્મ્સ

રાફ્ટમાં ટર્મ એ સતત વધતી પૂર્ણાંક સંખ્યા છે. તે ક્લસ્ટર માટે લોજિકલ ક્લોક તરીકે કાર્ય કરે છે. દરેક ટર્મ ચૂંટણીથી શરૂ થાય છે, અને જો ચૂંટણી સફળ થાય છે, તો તે ટર્મ માટે એક જ લીડર ચૂંટાય છે. ટર્મ્સ જૂની માહિતીને ઓળખવા અને સર્વર્સ હંમેશા સૌથી અદ્યતન માહિતીને પ્રાધાન્ય આપે તેની ખાતરી કરવા માટે નિર્ણાયક છે:

• સર્વર્સ તમામ RPCsમાં તેમની વર્તમાન ટર્મનું આદાનપ્રદાન કરે છે.
• જો કોઈ સર્વર ઉચ્ચ ટર્મ સાથે અન્ય સર્વર શોધે છે, તો તે તેની પોતાની વર્તમાન ટર્મને અપડેટ કરે છે અને ફોલોઅર સ્થિતિમાં પાછું ફરે છે.
• જો કોઈ કેન્ડિડેટ અથવા લીડર તેની ટર્મ જૂની (અન્ય સર્વરની ટર્મ કરતા ઓછી) શોધે છે, તો તે તરત જ પદ છોડી દે છે.

2. લોગ એન્ટ્રીઓ

લોગ એ રાફ્ટનો કેન્દ્રીય ઘટક છે. તે એન્ટ્રીઓનો એક ક્રમાંકિત ક્રમ છે, જ્યાં દરેક લોગ એન્ટ્રી સ્ટેટ મશીન દ્વારા અમલ કરવા માટેના આદેશનું પ્રતિનિધિત્વ કરે છે. દરેક એન્ટ્રીમાં શામેલ છે:

• આદેશ: કરવાની વાસ્તવિક કામગીરી (દા.ત., "set x=5", "create user").
• ટર્મ: લીડર પર એન્ટ્રી બનાવવામાં આવી હતી તે ટર્મ.
• ઇન્ડેક્સ: લોગમાં એન્ટ્રીની સ્થિતિ. લોગ એન્ટ્રીઓ ઇન્ડેક્સ દ્વારા સખત રીતે ક્રમાંકિત હોય છે.

લોગ સતત હોય છે, એટલે કે ગ્રાહકોને પ્રતિસાદ આપતા પહેલા એન્ટ્રીઓ સ્થિર સ્ટોરેજમાં લખવામાં આવે છે, જે ક્રેશ દરમિયાન ડેટાના નુકસાન સામે રક્ષણ આપે છે.

3. સ્ટેટ મશીન

રાફ્ટ ક્લસ્ટરમાં દરેક સર્વર સ્ટેટ મશીન જાળવી રાખે છે. આ એક એપ્લિકેશન-વિશિષ્ટ ઘટક છે જે પ્રતિબદ્ધ લોગ એન્ટ્રીઓની પ્રક્રિયા કરે છે. સુસંગતતા સુનિશ્ચિત કરવા માટે, સ્ટેટ મશીન નિર્ધારિત હોવું આવશ્યક છે (સમાન પ્રારંભિક સ્થિતિ અને આદેશોના ક્રમ આપતાં, તે હંમેશા સમાન આઉટપુટ અને અંતિમ સ્થિતિ ઉત્પન્ન કરે છે) અને આઇડેમ્પોટેન્ટ (સમાન આદેશને બહુવિધ વખત લાગુ કરવાથી તેને એકવાર લાગુ કરવા જેવી જ અસર થાય છે, જે રીટ્રાઈઝને સહેલાઈથી હેન્ડલ કરવામાં મદદ કરે છે, જોકે રાફ્ટની લોગ પ્રતિબદ્ધતા મોટાભાગે એકલ એપ્લિકેશનને ખાતરી આપે છે).

4. કમિટ ઇન્ડેક્સ

commitIndex એ સૌથી ઉચ્ચ લોગ એન્ટ્રી ઇન્ડેક્સ છે જે પ્રતિબદ્ધ હોવાનું જાણીતું છે. આનો અર્થ એ છે કે તેને મોટાભાગના સર્વર્સમાં સુરક્ષિત રીતે રેપ્લિકેટ કરવામાં આવ્યું છે અને સ્ટેટ મશીન પર લાગુ કરી શકાય છે. લીડર્સ commitIndex નક્કી કરે છે, અને ફોલોઅર્સ લીડરના AppendEntries RPCsના આધારે તેમના commitIndexને અપડેટ કરે છે. commitIndex સુધીની તમામ એન્ટ્રીઓ કાયમી ગણવામાં આવે છે અને તેને પાછળ ખેંચી શકાતી નથી.

5. સ્નેપશોટ્સ

સમય જતાં, રેપ્લિકેટેડ લોગ ખૂબ મોટો થઈ શકે છે, જે નોંધપાત્ર ડિસ્ક જગ્યા વાપરે છે અને લોગ રેપ્લિકેશન અને પુનઃપ્રાપ્તિને ધીમું બનાવે છે. રાફ્ટ સ્નેપશોટ્સ સાથે આને સંબોધિત કરે છે. એક સ્નેપશોટ એ સમયના ચોક્કસ બિંદુએ સ્ટેટ મશીનની સ્થિતિનું એક કોમ્પેક્ટ પ્રતિનિધિત્વ છે. આખો લોગ રાખવાને બદલે, સર્વર્સ સમયાંતરે તેમની સ્થિતિનો "સ્નેપશોટ" લઈ શકે છે, સ્નેપશોટ બિંદુ સુધીની તમામ લોગ એન્ટ્રીઓ કાઢી નાખી શકે છે, અને પછી નવા અથવા પાછળ રહી ગયેલા ફોલોઅર્સને સ્નેપશોટ રેપ્લિકેટ કરી શકે છે. આ પ્રક્રિયા કાર્યક્ષમતામાં નોંધપાત્ર સુધારો કરે છે:

• કોમ્પેક્ટ લોગ: કાયમી લોગ ડેટાની માત્રા ઘટાડે છે.
• ઝડપી પુનઃપ્રાપ્તિ: નવા અથવા ક્રેશ થયેલા સર્વર્સ શરૂઆતથી આખો લોગ ફરીથી ચલાવવાને બદલે સ્નેપશોટ પ્રાપ્ત કરી શકે છે.
• InstallSnapshot RPC: રાફ્ટ લીડરથી ફોલોઅર્સમાં સ્નેપશોટ્સ સ્થાનાંતરિત કરવા માટે InstallSnapshot RPC વ્યાખ્યાયિત કરે છે.

જ્યારે અસરકારક, સ્નેપશોટિંગ અમલીકરણમાં જટિલતા ઉમેરે છે, ખાસ કરીને એકસાથે સ્નેપશોટ બનાવટ, લોગ ટ્રંકેશન અને ટ્રાન્સમિશનનું સંચાલન કરવામાં.

રાફ્ટનું અમલીકરણ: વૈશ્વિક જમાવટ માટે વ્યવહારિક વિચારણાઓ

રાફ્ટની ભવ્ય ડિઝાઇનને એક મજબૂત, ઉત્પાદન-તૈયાર સિસ્ટમમાં રૂપાંતરિત કરવું, ખાસ કરીને વૈશ્વિક પ્રેક્ષકો અને વિવિધ ઇન્ફ્રાસ્ટ્રક્ચર માટે, ઘણા વ્યવહારિક ઇજનેરી પડકારોને સંબોધિત કરવાનો સમાવેશ થાય છે.

1. વૈશ્વિક સંદર્ભમાં નેટવર્ક લેટન્સી અને પાર્ટીશન્સ

વૈશ્વિક સ્તરે વિતરિત સિસ્ટમો માટે, નેટવર્ક લેટન્સી એક મહત્વપૂર્ણ પરિબળ છે. રાફ્ટ ક્લસ્ટરને સામાન્ય રીતે લોગ એન્ટ્રીને પ્રતિબદ્ધ કરતા પહેલા મોટાભાગના નોડ્સને સંમત થવાની જરૂર હોય છે. ખંડોમાં ફેલાયેલા ક્લસ્ટરમાં, નોડ્સ વચ્ચેની લેટન્સી સેંકડો મિલિસેકન્ડ્સ હોઈ શકે છે. આ સીધી રીતે અસર કરે છે:

• કમિટ લેટન્સી: ક્લાયન્ટ વિનંતીને પ્રતિબદ્ધ કરવામાં લાગતો સમય મોટાભાગની પ્રતિકૃતિઓ સુધીની સૌથી ધીમી નેટવર્ક લિંક દ્વારા અવરોધિત થઈ શકે છે. રીડ-ઓન્લી ફોલોઅર્સ (જેને જૂના રીડ્સ માટે લીડર ક્રિયાપ્રતિક્રિયાની જરૂર નથી) અથવા ભૌગોલિક રીતે જાગૃત કોરમ ગોઠવણી (દા.ત., 5-નોડ ક્લસ્ટર માટે એક પ્રદેશમાં 3 નોડ્સ, બીજામાં 2, જ્યાં બહુમતી એક જ ઝડપી પ્રદેશમાં હોઈ શકે છે) જેવી વ્યૂહરચનાઓ આને ઘટાડી શકે છે.
• લીડર ચૂંટણીની ગતિ: ઉચ્ચ લેટન્સી RequestVote RPCsને વિલંબિત કરી શકે છે, સંભવતઃ વધુ વારંવાર સ્પ્લિટ વોટ્સ અથવા લાંબા ચૂંટણી સમય તરફ દોરી શકે છે. લાક્ષણિક ઇન્ટર-નોડ લેટન્સી કરતા નોંધપાત્ર રીતે મોટા ચૂંટણી ટાઈમઆઉટ્સને સમાયોજિત કરવું નિર્ણાયક છે.
• નેટવર્ક પાર્ટીશન હેન્ડલિંગ: વાસ્તવિક-વિશ્વના નેટવર્ક પાર્ટીશન્સને પાત્ર હોય છે. રાફ્ટ પાર્ટીશન્સને યોગ્ય રીતે હેન્ડલ કરે છે તેની ખાતરી કરીને કે ફક્ત મોટાભાગના સર્વર્સ ધરાવતો પાર્ટીશન જ લીડરને ચૂંટી શકે છે અને પ્રગતિ કરી શકે છે. લઘુમતી પાર્ટીશન નવી એન્ટ્રીઓને પ્રતિબદ્ધ કરવામાં અસમર્થ રહેશે, આમ સ્પ્લિટ-બ્રેઈન દૃશ્યોને અટકાવશે. જોકે, વૈશ્વિક સ્તરે વિતરિત સેટઅપમાં લાંબા સમય સુધી ચાલતા પાર્ટીશન્સ અમુક પ્રદેશોમાં અનુપલબ્ધતા તરફ દોરી શકે છે, જેના માટે કોરમ પ્લેસમેન્ટ વિશે કાળજીપૂર્વક આર્કિટેક્ચરલ નિર્ણયો જરૂરી છે.

2. સતત સ્ટોરેજ અને ટકાઉપણું

રાફ્ટની શુદ્ધતા તેના લોગ અને સ્થિતિની સ્થાયીતા પર ખૂબ આધાર રાખે છે. એક સર્વર RPCને પ્રતિસાદ આપે અથવા તેની સ્ટેટ મશીન પર એન્ટ્રી લાગુ કરે તે પહેલાં, તેણે ખાતરી કરવી જોઈએ કે સંબંધિત ડેટા (લોગ એન્ટ્રીઓ, વર્તમાન ટર્મ, votedFor) સ્થિર સ્ટોરેજમાં લખવામાં આવે છે અને fsync'd (ડિસ્ક પર ફ્લશ) થાય છે. આ ક્રેશના કિસ્સામાં ડેટાના નુકસાનને અટકાવે છે. વિચારણાઓમાં શામેલ છે:

• પ્રદર્શન: વારંવાર ડિસ્ક રાઇટ્સ પ્રદર્શનની બોટલનેક બની શકે છે. રાઇટ્સને બેચિંગ કરવા અને ઉચ્ચ-પ્રદર્શન SSDsનો ઉપયોગ કરવો સામાન્ય ઑપ્ટિમાઇઝેશન છે.
• વિશ્વસનીયતા: એક મજબૂત અને ટકાઉ સ્ટોરેજ સોલ્યુશન (સ્થાનિક ડિસ્ક, નેટવર્ક-જોડાયેલ સ્ટોરેજ, ક્લાઉડ બ્લોક સ્ટોરેજ) પસંદ કરવું નિર્ણાયક છે.
• WAL (રાઇટ-અહેડ લોગ): ઘણીવાર, રાફ્ટ અમલીકરણો ટકાઉપણું માટે રાઇટ-અહેડ લોગનો ઉપયોગ કરે છે, ડેટાબેસેસની જેમ, ફેરફારો ઇન-મેમરીમાં લાગુ થાય તે પહેલાં ડિસ્ક પર લખવામાં આવે છે તેની ખાતરી કરવા માટે.

3. ક્લાયન્ટ ક્રિયાપ્રતિક્રિયા અને સુસંગતતા મોડલ્સ

ક્લાયન્ટ્સ લીડરને વિનંતીઓ મોકલીને રાફ્ટ ક્લસ્ટર સાથે ક્રિયાપ્રતિક્રિયા કરે છે. ક્લાયન્ટ વિનંતીઓને હેન્ડલ કરવામાં શામેલ છે:

• લીડર શોધ: ક્લાયન્ટ્સને વર્તમાન લીડર શોધવા માટેની પદ્ધતિની જરૂર હોય છે. આ સેવા શોધ પદ્ધતિ દ્વારા, રીડાયરેક્ટ કરતા નિશ્ચિત એન્ડપોઇન્ટ દ્વારા, અથવા લીડર તરીકે પ્રતિસાદ આપનાર એક સર્વર ન મળે ત્યાં સુધી સર્વર્સને અજમાવીને થઈ શકે છે.
• વિનંતી રીટ્રાઈઝ: જો લીડર બદલાય અથવા નેટવર્ક ભૂલ થાય તો ક્લાયન્ટ્સ વિનંતીઓને ફરીથી પ્રયાસ કરવા માટે તૈયાર હોવા જોઈએ.
• રીડ સુસંગતતા: રાફ્ટ મુખ્યત્વે રાઇટ્સ માટે મજબૂત સુસંગતતા ગેરંટી આપે છે. રીડ્સ માટે, ઘણા મોડેલો શક્ય છે:
  • મજબૂત રીતે સુસંગત રીડ્સ: ક્લાયન્ટ લીડરને વાંચન પ્રદાન કરતા પહેલા તેના ફોલોઅર્સના મોટાભાગના લોકો સુધી હાર્ટબીટ મોકલીને તેની સ્થિતિ અદ્યતન છે તેની ખાતરી કરવા કહી શકે છે. આ તાજગીની ખાતરી આપે છે પરંતુ લેટન્સી ઉમેરે છે.
  • લીડર-લીઝ રીડ્સ: લીડર ટૂંકા ગાળા માટે મોટાભાગના નોડ્સ પાસેથી 'લીઝ' મેળવી શકે છે, જે દરમિયાન તે જાણે છે કે તે હજી પણ લીડર છે અને વધુ સર્વસંમતિ વિના રીડ્સ પ્રદાન કરી શકે છે. આ ઝડપી છે પરંતુ સમય-બાઉન્ડ છે.
  • જૂના રીડ્સ (ફોલોઅર્સમાંથી): ફોલોઅર્સમાંથી સીધા વાંચન ઓછી લેટન્સી પ્રદાન કરી શકે છે પરંતુ જો ફોલોઅરનો લોગ લીડર કરતાં પાછળ હોય તો જૂનો ડેટા વાંચવાનું જોખમ રહેલું છે. આ એપ્લિકેશનો માટે સ્વીકાર્ય છે જ્યાં રીડ્સ માટે અંતિમ સુસંગતતા પૂરતી હોય.

4. ગોઠવણી ફેરફારો (ક્લસ્ટર સભ્યપદ)

રાફ્ટ ક્લસ્ટરનું સભ્યપદ બદલવું (સર્વર્સ ઉમેરવા અથવા દૂર કરવા) એક જટિલ કામગીરી છે જે અસંગતતાઓ અથવા સ્પ્લિટ-બ્રેઈન દૃશ્યોને ટાળવા માટે સર્વસંમતિ દ્વારા પણ થવી જોઈએ. રાફ્ટ જોઇન્ટ સર્વસંમતિ નામની તકનીકનો પ્રસ્તાવ મૂકે છે:

• બે ગોઠવણીઓ: ગોઠવણી ફેરફાર દરમિયાન, સિસ્ટમ અસ્થાયી રૂપે બે ઓવરલેપિંગ ગોઠવણીઓ સાથે કાર્ય કરે છે: જૂની ગોઠવણી (C_old) અને નવી ગોઠવણી (C_new).
• જોઇન્ટ સર્વસંમતિ સ્થિતિ (C_old, C_new): લીડર એક વિશિષ્ટ લોગ એન્ટ્રીનો પ્રસ્તાવ મૂકે છે જે સંયુક્ત ગોઠવણીનું પ્રતિનિધિત્વ કરે છે. એકવાર આ એન્ટ્રી પ્રતિબદ્ધ થઈ જાય (C_old અને C_new બંનેમાં બહુમતીઓની સંમતિ જરૂરી છે), સિસ્ટમ સંક્રમણકારી સ્થિતિમાં હોય છે. હવે, નિર્ણયો માટે બંને ગોઠવણીઓમાંથી બહુમતીઓની જરૂર હોય છે. આ સુનિશ્ચિત કરે છે કે સંક્રમણ દરમિયાન, જૂની કે નવી ગોઠવણી એકતરફી નિર્ણયો લઈ શકતી નથી, જે ભિન્નતાને અટકાવે છે.
• C_new માં સંક્રમણ: એકવાર સંયુક્ત ગોઠવણી લોગ એન્ટ્રી પ્રતિબદ્ધ થઈ જાય, લીડર ફક્ત નવી ગોઠવણી (C_new)નું પ્રતિનિધિત્વ કરતી બીજી લોગ એન્ટ્રીનો પ્રસ્તાવ મૂકે છે. એકવાર આ બીજી એન્ટ્રી પ્રતિબદ્ધ થઈ જાય, જૂની ગોઠવણી રદ કરવામાં આવે છે, અને સિસ્ટમ ફક્ત C_new હેઠળ કાર્ય કરે છે.
• સલામતી: આ બે-તબક્કાની કમિટ-જેવી પ્રક્રિયા સુનિશ્ચિત કરે છે કે કોઈ પણ સમયે બે વિરોધાભાસી લીડર્સ ચૂંટાઈ શકતા નથી (એક C_old હેઠળ, એક C_new હેઠળ) અને સિસ્ટમ ફેરફાર દરમિયાન કાર્યરત રહે છે.

ગોઠવણી ફેરફારોને યોગ્ય રીતે અમલમાં મૂકવો એ રાફ્ટ અમલીકરણના સૌથી પડકારજનક ભાગોમાંનો એક છે, કારણ કે સંક્રમણકારી સ્થિતિ દરમિયાન અસંખ્ય ધારના કેસો અને નિષ્ફળતાના દૃશ્યો હોય છે.

5. વિતરિત સિસ્ટમોનું પરીક્ષણ: એક કઠોર અભિગમ

રાફ્ટ જેવા વિતરિત સર્વસંમતિ અલ્ગોરિધમનું પરીક્ષણ કરવું તેની બિન-નિર્ધારિત પ્રકૃતિ અને નિષ્ફળતાના બહુવિધ મોડ્સને કારણે અપવાદરૂપે પડકારજનક છે. સરળ યુનિટ પરીક્ષણો અપૂરતા છે. કઠોર પરીક્ષણમાં શામેલ છે:

• ફોલ્ટ ઇન્જેક્શન: નોડ ક્રેશ, નેટવર્ક પાર્ટીશન્સ, સંદેશા વિલંબ અને સંદેશાના પુનઃક્રમાંકન જેવી નિષ્ફળતાઓને વ્યવસ્થિત રીતે રજૂ કરવી. જેપ્સન જેવા સાધનો ખાસ કરીને આ હેતુ માટે રચાયેલ છે.
• પ્રોપર્ટી-આધારિત પરીક્ષણ: ઇનવેરિએન્ટ્સ અને સલામતી ગુણધર્મોને વ્યાખ્યાયિત કરવા (દા.ત., પ્રતિ ટર્મ વધુમાં વધુ એક લીડર, પ્રતિબદ્ધ એન્ટ્રીઓ ક્યારેય ખોવાઈ નથી) અને પરીક્ષણ કરવું કે અમલીકરણ આને વિવિધ પરિસ્થિતિઓમાં જાળવી રાખે છે.
• મોડેલ ચેકિંગ: અલ્ગોરિધમના નિર્ણાયક ભાગો માટે, ઔપચારિક ચકાસણી તકનીકોનો ઉપયોગ ચોકસાઈ સાબિત કરવા માટે કરી શકાય છે, જોકે આ અત્યંત વિશિષ્ટ છે.
• સિમ્યુલેટેડ વાતાવરણ: વૈશ્વિક જમાવટની લાક્ષણિક નેટવર્ક પરિસ્થિતિઓ (લેટન્સી, પેકેટ નુકસાન) નું અનુકરણ કરતા વાતાવરણમાં પરીક્ષણો ચલાવવા.

ઉપયોગના કેસો અને વાસ્તવિક-વિશ્વ એપ્લિકેશનો

રાફ્ટની વ્યવહારિકતા અને સમજણક્ષમતાએ વિવિધ નિર્ણાયક ઇન્ફ્રાસ્ટ્રક્ચર ઘટકોમાં તેના વ્યાપક અપનાવવા તરફ દોરી છે:

1. વિતરિત કી-વેલ્યુ સ્ટોર્સ અને ડેટાબેઝ રેપ્લિકેશન

• etcd: કુબર્નેટિસનો એક પાયાનો ઘટક, etcd ગોઠવણી ડેટા, સેવા શોધ માહિતીને સંગ્રહિત કરવા અને રેપ્લિકેટ કરવા અને ક્લસ્ટરની સ્થિતિનું સંચાલન કરવા માટે રાફ્ટનો ઉપયોગ કરે છે. કુબર્નેટિસને યોગ્ય રીતે કાર્ય કરવા માટે તેની વિશ્વસનીયતા સર્વોપરી છે.
• Consul: હેશીકોર્પ દ્વારા વિકસિત, કન્સુલ તેના વિતરિત સ્ટોરેજ બેકએન્ડ માટે રાફ્ટનો ઉપયોગ કરે છે, જે ગતિશીલ ઇન્ફ્રાસ્ટ્રક્ચર વાતાવરણમાં સેવા શોધ, હેલ્થ ચેકિંગ અને ગોઠવણી સંચાલનને સક્ષમ કરે છે.
• TiKV: TiDB (વિતરિત SQL ડેટાબેઝ) દ્વારા ઉપયોગમાં લેવાતો વિતરિત ટ્રાન્ઝેક્શનલ કી-વેલ્યુ સ્ટોર તેના ડેટા રેપ્લિકેશન અને સુસંગતતા ગેરંટીઓ માટે રાફ્ટનો અમલ કરે છે.
• CockroachDB: આ વૈશ્વિક સ્તરે વિતરિત SQL ડેટાબેઝ બહુવિધ નોડ્સ અને ભૌગોલિક વિસ્તારોમાં ડેટાને રેપ્લિકેટ કરવા માટે રાફ્ટનો વ્યાપકપણે ઉપયોગ કરે છે, જે પ્રદેશ-વ્યાપી નિષ્ફળતાના કિસ્સામાં પણ ઉચ્ચ ઉપલબ્ધતા અને મજબૂત સુસંગતતા સુનિશ્ચિત કરે છે.

2. સેવા શોધ અને ગોઠવણી વ્યવસ્થાપન

રાફ્ટ સિસ્ટમો માટે એક આદર્શ પાયો પૂરો પાડે છે જેને સેવાઓ અને ગોઠવણીઓ વિશેના નિર્ણાયક મેટાડેટાને ક્લસ્ટર પર સંગ્રહિત અને વિતરિત કરવાની જરૂર હોય છે. જ્યારે કોઈ સેવા રજીસ્ટર થાય છે અથવા તેની ગોઠવણી બદલાય છે, ત્યારે રાફ્ટ ખાતરી કરે છે કે તમામ નોડ્સ આખરે નવી સ્થિતિ પર સંમત થાય છે, જે મેન્યુઅલ હસ્તક્ષેપ વિના ગતિશીલ અપડેટ્સને સક્ષમ કરે છે.

3. વિતરિત ટ્રાન્ઝેક્શન કોઓર્ડિનેટર્સ

બહુવિધ કામગીરીઓ અથવા સેવાઓમાં એટોમિસિટીની જરૂર હોય તેવી સિસ્ટમો માટે, રાફ્ટ વિતરિત ટ્રાન્ઝેક્શન કોઓર્ડિનેટર્સને આધાર આપી શકે છે, જે ખાતરી કરે છે કે સહભાગીઓ વચ્ચે ફેરફારોને પ્રતિબદ્ધ કરતા પહેલા ટ્રાન્ઝેક્શન લોગ્સ સતત રેપ્લિકેટ થાય છે.

4. ક્લસ્ટર સંકલન અને અન્ય સિસ્ટમોમાં લીડર ચૂંટણી

સ્પષ્ટ ડેટાબેઝ અથવા કી-વેલ્યુ સ્ટોરના ઉપયોગ ઉપરાંત, રાફ્ટને ઘણીવાર સંકલન કાર્યોનું સંચાલન કરવા, અન્ય વિતરિત પ્રક્રિયાઓ માટે લીડર્સને ચૂંટવા અથવા મોટી સિસ્ટમોમાં વિશ્વસનીય કંટ્રોલ પ્લેન પ્રદાન કરવા માટે લાઇબ્રેરી અથવા મુખ્ય ઘટક તરીકે એમ્બેડ કરવામાં આવે છે. ઉદાહરણ તરીકે, ઘણા ક્લાઉડ-નેટિવ સોલ્યુશન્સ તેમના કંટ્રોલ પ્લેન ઘટકોની સ્થિતિનું સંચાલન કરવા માટે રાફ્ટનો લાભ લે છે.

રાફ્ટના ફાયદા અને ગેરફાયદા

જ્યારે રાફ્ટ નોંધપાત્ર ફાયદા પ્રદાન કરે છે, ત્યારે તેના trade-offsને સમજવું જરૂરી છે.

ફાયદા:

• સમજણક્ષમતા: તેનો પ્રાથમિક ડિઝાઇન ધ્યેય, જે તેને પેક્સોસ જેવા જૂના સર્વસંમતિ અલ્ગોરિધમ્સ કરતાં અમલ કરવા, ડીબગ કરવા અને તર્કસંગત બનાવવાનું સરળ બનાવે છે.
• મજબૂત સુસંગતતા: પ્રતિબદ્ધ લોગ એન્ટ્રીઓ માટે મજબૂત સુસંગતતા ગેરંટીઓ પ્રદાન કરે છે, જે ડેટા અખંડિતતા અને વિશ્વસનીયતા સુનિશ્ચિત કરે છે.
• ફોલ્ટ ટોલરન્સ: નોડ્સની લઘુમતીની નિષ્ફળતા (N-નોડ ક્લસ્ટરમાં (N-1)/2 નિષ્ફળતાઓ સુધી) ઉપલબ્ધતા અથવા સુસંગતતા ગુમાવ્યા વિના સહન કરી શકે છે.
• પ્રદર્શન: સ્થિર પરિસ્થિતિઓમાં (કોઈ લીડર ફેરફાર નહીં), રાફ્ટ ઉચ્ચ થ્રુપુટ પ્રાપ્ત કરી શકે છે કારણ કે લીડર તમામ વિનંતીઓની ક્રમિક રીતે પ્રક્રિયા કરે છે અને સમાંતર રીતે પ્રતિકૃતિ બનાવે છે, નેટવર્ક બેન્ડવિડ્થનો કાર્યક્ષમ રીતે લાભ લે છે.
• સુવ્યાખ્યાયિત ભૂમિકાઓ: સ્પષ્ટ ભૂમિકાઓ (લીડર, ફોલોઅર, કેન્ડિડેટ) અને સ્થિતિ સંક્રમણો માનસિક મોડેલ અને અમલીકરણને સરળ બનાવે છે.
• ગોઠવણી ફેરફારો: ક્લસ્ટરમાંથી નોડ્સ ઉમેરવા અથવા દૂર કરવા માટે સુસંગતતા સાથે સમાધાન કર્યા વિના એક મજબૂત પદ્ધતિ (જોઇન્ટ સર્વસંમતિ) પ્રદાન કરે છે.

ગેરફાયદા:

• લીડર બોટલનેક: તમામ ક્લાયન્ટ રાઇટ વિનંતીઓ લીડર દ્વારા થવી જોઈએ. અત્યંત ઉચ્ચ રાઇટ થ્રુપુટવાળા દૃશ્યોમાં અથવા જ્યાં લીડર્સ ગ્રાહકોથી ભૌગોલિક રીતે દૂર હોય, ત્યાં આ પ્રદર્શનની બોટલનેક બની શકે છે.
• રીડ લેટન્સી: મજબૂત રીતે સુસંગત રીડ્સ પ્રાપ્ત કરવા માટે ઘણીવાર લીડર સાથે સંચારની જરૂર પડે છે, જે સંભવતઃ લેટન્સી ઉમેરે છે. ફોલોઅર્સમાંથી વાંચન જૂના ડેટાનું જોખમ ધરાવે છે.
• કોરમ આવશ્યકતા: નવી એન્ટ્રીઓને પ્રતિબદ્ધ કરવા માટે મોટાભાગના નોડ્સ ઉપલબ્ધ હોવા જરૂરી છે. 5-નોડ ક્લસ્ટરમાં, 2 નિષ્ફળતાઓ સહનશીલ છે. જો 3 નોડ્સ નિષ્ફળ જાય, તો ક્લસ્ટર રાઇટ્સ માટે અનુપલબ્ધ બની જાય છે. આ અત્યંત વિભાજિત અથવા ભૌગોલિક રીતે વિતરિત વાતાવરણમાં પડકારજનક હોઈ શકે છે જ્યાં પ્રદેશોમાં બહુમતી જાળવવી મુશ્કેલ છે.
• નેટવર્ક સંવેદનશીલતા: નેટવર્ક લેટન્સી અને પાર્ટીશન્સ પ્રત્યે અત્યંત સંવેદનશીલ, જે ચૂંટણીના સમય અને એકંદર સિસ્ટમ થ્રુપુટને અસર કરી શકે છે, ખાસ કરીને વ્યાપકપણે વિતરિત જમાવટમાં.
• ગોઠવણી ફેરફારોની જટિલતા: જ્યારે મજબૂત હોય, ત્યારે જોઇન્ટ સર્વસંમતિ પદ્ધતિ રાફ્ટ અલ્ગોરિધમના સૌથી જટિલ ભાગોમાંનો એક છે જેને યોગ્ય રીતે અમલમાં મૂકવો અને સંપૂર્ણ રીતે પરીક્ષણ કરવું.
• એકલ નિષ્ફળતાનો મુદ્દો (રાઇટ્સ માટે): લીડર નિષ્ફળતા માટે ફોલ્ટ-ટોલરન્ટ હોવા છતાં, જો લીડર કાયમી રૂપે ડાઉન હોય અને નવો લીડર ચૂંટાઈ ન શકે (દા.ત., નેટવર્ક પાર્ટીશન્સ અથવા ઘણી બધી નિષ્ફળતાઓને કારણે), તો સિસ્ટમ રાઇટ્સ પર પ્રગતિ કરી શકતી નથી.

નિષ્કર્ષ: સ્થિતિસ્થાપક વૈશ્વિક સિસ્ટમો માટે વિતરિત સર્વસંમતિમાં નિપુણતા મેળવવી

રાફ્ટ અલ્ગોરિધમ જટિલ સમસ્યાઓને સરળ બનાવવામાં વિચારશીલ ડિઝાઇન શક્તિનો એક પુરાવો છે. સમજણક્ષમતા પરનો તેનો ભાર વિતરિત સર્વસંમતિનું લોકશાહીકરણ થયું છે, જે વિકાસકર્તાઓ અને સંસ્થાઓની વ્યાપક શ્રેણીને અગાઉના અભિગમોની ગુઢ જટિલતાઓને વશ થયા વિના ઉચ્ચ ઉપલબ્ધ અને ફોલ્ટ-ટોલરન્ટ સિસ્ટમો બનાવવાની મંજૂરી આપે છે.

કુબર્નેટિસ (etcd દ્વારા) સાથે કન્ટેનર ક્લસ્ટર્સનું સંકલન કરવાથી લઈને CockroachDB જેવા વૈશ્વિક ડેટાબેસેસ માટે સ્થિતિસ્થાપક ડેટા સ્ટોરેજ પ્રદાન કરવા સુધી, રાફ્ટ એક શાંત કાર્યકારી છે, જે ખાતરી કરે છે કે આપણું ડિજિટલ વિશ્વ સુસંગત અને કાર્યરત રહે. રાફ્ટનો અમલ કરવો એ કોઈ નાનું કામ નથી, પરંતુ તેની વિશિષ્ટતાની સ્પષ્ટતા અને તેની આસપાસના ઇકોસિસ્ટમની સમૃદ્ધિ તેને મજબૂત, માપી શકાય તેવી ઇન્ફ્રાસ્ટ્રક્ચરની આગામી પેઢી બનાવવા માટે પ્રતિબદ્ધ લોકો માટે એક ફળદાયી પ્રયાસ બનાવે છે.

વિકાસકર્તાઓ અને આર્કિટેક્ટ્સ માટે કાર્યક્ષમ આંતરદૃષ્ટિ:

• સમજણને પ્રાથમિકતા આપો: અમલીકરણનો પ્રયાસ કરતા પહેલા, રાફ્ટના દરેક નિયમ અને સ્થિતિ સંક્રમણને સંપૂર્ણપણે સમજવામાં સમયનું રોકાણ કરો. મૂળ પેપર અને વિઝ્યુઅલ સમજૂતીઓ અમૂલ્ય સંસાધનો છે.
• હાલની લાઇબ્રેરીઓનો લાભ લો: મોટાભાગની એપ્લિકેશનો માટે, વેલ-વેટેડ હાલના રાફ્ટ અમલીકરણોનો (દા.ત., etcd, હેશીકોર્પની રાફ્ટ લાઇબ્રેરીમાંથી) શરૂઆતથી બનાવવાને બદલે ઉપયોગ કરવાનું વિચારો, સિવાય કે તમારી આવશ્યકતાઓ અત્યંત વિશિષ્ટ હોય અથવા તમે શૈક્ષણિક સંશોધન કરી રહ્યા હોવ.
• કઠોર પરીક્ષણ બિન-ચર્ચાક્ષમ છે: ફોલ્ટ ઇન્જેક્શન, પ્રોપર્ટી-આધારિત પરીક્ષણ અને નિષ્ફળતાના દૃશ્યોનું વ્યાપક સિમ્યુલેશન કોઈપણ વિતરિત સર્વસંમતિ સિસ્ટમ માટે સર્વોપરી છે. તેને સંપૂર્ણપણે તોડ્યા વિના ક્યારેય "તે કામ કરે છે" એમ માનો નહીં.
• વૈશ્વિક લેટન્સી માટે ડિઝાઇન કરો: વૈશ્વિક સ્તરે જમાવટ કરતી વખતે, વિવિધ ભૌગોલિક પ્રદેશોમાં સુસંગતતા અને પ્રદર્શન બંનેને ઑપ્ટિમાઇઝ કરવા માટે તમારા કોરમ પ્લેસમેન્ટ, નેટવર્ક ટોપોલોજી અને ક્લાયન્ટ રીડ વ્યૂહરચનાઓને કાળજીપૂર્વક ધ્યાનમાં લો.
• સતતતા અને ટકાઉપણું: ખાતરી કરો કે તમારું અંતર્ગત સ્ટોરેજ સ્તર મજબૂત છે અને ક્રેશના દૃશ્યોમાં ડેટાના નુકસાનને અટકાવવા માટે fsync અથવા સમકક્ષ કામગીરીનો યોગ્ય રીતે ઉપયોગ થાય છે.

જેમ જેમ વિતરિત સિસ્ટમોનો વિકાસ ચાલુ રહેશે તેમ, રાફ્ટ દ્વારા મૂર્તિમંત સિદ્ધાંતો — સ્પષ્ટતા, મજબૂતી અને ફોલ્ટ ટોલરન્સ — વિશ્વસનીય સોફ્ટવેર ઇજનેરીના આધારસ્તંભ રહેશે. રાફ્ટમાં નિપુણતા મેળવીને, તમે તમારી જાતને સ્થિતિસ્થાપક, વૈશ્વિક સ્તરે માપી શકાય તેવી એપ્લિકેશનો બનાવવા માટે એક શક્તિશાળી સાધનથી સજ્જ કરો છો જે વિતરિત કમ્પ્યુટિંગની અનિવાર્ય અરાજકતાનો સામનો કરી શકે છે.